TensorFlow で 画像分類モデルを構築してみた・前編

import zipfile

local_zip = "/content/cat_data.zip"
zip_ref = zipfile.ZipFile(local_zip, "r")
zip_ref.extractall()

zip_ref.close()

# モジュールのインポート
import numpy as np
import os
import tensorflow as tf
import tensorflow_datasets as tfds

# データセットのディレクトリを指定
data_dir = "/content/train_cat_data"

# バッチサイズ、画像の縦横を決める
batch_size = 32
img_height = 180
img_width = 180

# image_dataset_from_directory モジュールを使用してデータの分割を行う - 学習用データ
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split = 0.2,
    subset = "training",
    seed = 1,
    image_size=(img_height, img_width),
    batch_size=batch_size
)

# image_dataset_from_directory モジュールを使用してデータの分割を行う - 検証用データ
val_ds = tf.keras.utils.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="validation",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size
)

class_names = train_ds.class_names
print(class_names)

# 正規化レイヤーを定義（ピクセル値を0-255から0-1に変換）
normalization_layer = tf.keras.layers.Rescaling(1./255)

# 訓練データセットに正規化を適用
normalized_ds = train_ds.map(lambda x, y: (normalization_layer(x), y))

# 正規化されたデータセットから1バッチ取得し、バッチの最初の画像を取得
image_batch, labels_batch = next(iter(normalized_ds))
first_image = image_batch[0]

# ピクセル値が 0～1 の値をとるか確認
print(np.min(first_image), np.max(first_image))

import matplotlib.pyplot as plt

plt.figure(figsize=(10, 10))
for images, labels in train_ds.take(1):
  for i in range(9):
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(images[i].numpy().astype("uint8"))
    plt.title(class_names[labels[i]])
    plt.axis("off")

# システムのパフォーマンスに基づいて最適なパラメータを選択
AUTOTUNE = tf.data.AUTOTUNE

# データセットをメモリにキャッシュし、I/O時間を減少させる
# prefetch を使用し、モデルのバッチ処理中に次のデータを読み込む処理を行う
train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

# 分類するクラスの数を定義（ここでは飼い猫：my_cat とそれ以外の猫：other_cat の2項分類）
num_classes = 2

# Sequentialモデルを使用してCNNを構築
model = tf.keras.Sequential([
    # 1層目：畳み込み層とプーリング層
    tf.keras.layers.Conv2D(32, 3, activation='relu'),
    tf.keras.layers.MaxPooling2D(),
    # 2層目：畳み込み層とプーリング層
    tf.keras.layers.Conv2D(32, 3, activation='relu'),
    tf.keras.layers.MaxPooling2D(),
    # 3層目：畳み込み層とプーリング層
    tf.keras.layers.Conv2D(32, 3, activation='relu'),
    tf.keras.layers.MaxPooling2D(),
    # 多次元出力を1次元に変換
    tf.keras.layers.Flatten(),
    # 全結合層
    tf.keras.layers.Dense(128, activation='relu'),
    # 出力層
    tf.keras.layers.Dense(num_classes, activation='softmax')
])

model.summary()

model.compile(
  optimizer='adam',
  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
  metrics=['accuracy'])

history = model.fit(
    train_ds,
    validation_data=val_ds,
    epochs=10
        # トレーニング中に実行される追加の処理
        callbacks=[
            # 早期停止（3エポック改善がなければ停止）
            tf.keras.callbacks.EarlyStopping(patience=3),
            # 最良モデルの保存
            tf.keras.callbacks.ModelCheckpoint('best_model.h5', save_best_only=True)
    ],
    # トレーニング進捗の表示レベル（0=非表示、1=進捗バー、2=1エポックごとに1行）
    verbose=1
)

# グラフのサイズ設定
plt.figure(figsize=(12, 4))

# accuracy の表示
plt.subplot(1, 2, 1)
plt.plot(history.history['accuracy'], label='Training Accuracy')
plt.plot(history.history['val_accuracy'], label='Validation Accuracy')
plt.title('Model Accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.legend()

# loss の表示
plt.subplot(1, 2, 2)
plt.plot(history.history['loss'], label='Training Loss')
plt.plot(history.history['val_loss'], label='Validation Loss')
plt.title('Model Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.legend()

# サブプロット間の間隔を自動調整
plt.tight_layout()

# グラフの表示
plt.show()

import zipfile

local_zip = "/content/test_cat_data.zip"
zip_ref = zipfile.ZipFile(local_zip, "r")
zip_ref.extractall()

zip_ref.close()

test_ds = tf.keras.utils.image_dataset_from_directory(
    "/content/test_cat_data",
    image_size=(180, 180),
    batch_size=32
)

from sklearn.metrics import classification_report

# テストデータセットで予測を行う
y_pred = model.predict(test_ds)
y_pred_classes = np.argmax(y_pred, axis=1)
y_true = np.concatenate([y for x, y in test_ds], axis=0)

# 分類レポートを表示
print(classification_report(y_true, y_pred_classes, target_names=['my_cat', 'other_cat']))

from sklearn.metrics import roc_curve, auc

# テストデータセットで予測を行う
y_pred = model.predict(test_ds)
y_true = np.concatenate([y for x, y in test_ds], axis=0)

fpr, tpr, _ = roc_curve(y_true, y_pred[:, 1])
roc_auc = auc(fpr, tpr)

plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic (ROC) Curve')
plt.legend(loc="lower right")
plt.show()

# テストデータセットで予測を行う
y_pred = model.predict(test_ds)
y_pred_classes = np.argmax(y_pred, axis=1)

# 実際のラベルを取得
y_true = np.concatenate([y for x, y in test_ds], axis=0)

# 混同行列を計算
cm = confusion_matrix(y_true, y_pred_classes)

plt.figure(figsize=(10, 8))
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')
plt.title('Confusion Matrix')
plt.xlabel('Predicted')
plt.ylabel('True')
plt.show()